在模式连通性文献中被广泛接受的是，当两个神经网络在相同的数据上类似地训练时，它们通过路径通过参数空间连接，维持了测试集精度。在某些情况下，包括从预验证的模型中转移学习，这些路径被认为是线性的。与现有结果相反，我们发现在文本分类器（在MNLI，QQP和COLA上训练）中，一些填充模型具有较大的障碍，它们之间的线性路径之间的损失越来越大。在每个任务上，我们都会发现模型的不同簇，这些模型簇在测试损失表面上是线性连接的，但与集群外部的模型断开 - 模型占据了表面上的单独盆地。通过测量专门制作的诊断数据集的性能，我们发现这些簇对应于不同的概括策略：一个群集的行为就像域移动下的一袋单词模型一样，而另一个群集使用句法启发式方法。我们的工作表明，损耗表面的几何形状如何指导模型朝着不同的启发式函数。
translated by 谷歌翻译
本文提出了一种新型的非侵入系统故障预测技术，使用来自开发人员的可用信息，以及来自原始日志中的最小信息（而不是挖掘整个日志），但与数据所有者完全保持数据。基于神经网络的多级分类器是为故障预测而开发的，使用人为生成的匿名数据集，应用技术组合，即遗传算法（步骤），模式重复等，以训练和测试网络。提出的机制完全将用于培训过程的数据集与保留私有数据的数据集分解。此外，多标准决策（MCDM）方案用于优先考虑满足业务需求的失败。结果显示在不同参数配置下的故障预测准确性。在更广泛的上下文上，可以使用提出的机制具有人工生成的数据集执行任何分类问题，而无需查看实际数据，只要输入功能可以转换为二进制值（例如，来自私有二进制分类器的输出）并可以提供分类 - 服务。
translated by 谷歌翻译
在本文中，我们专注于使用特征函数的统计依赖估计问题。我们基于关节和界限特征函数之间差异的最大差异提出了统计依赖度量。所提出的度量可以检测两个可能不同维度的随机向量之间的任意统计依赖性，可以区分，并且易于整合到现代机器学习和深度学习管道中。我们还使用模拟和真实数据进行实验。我们的模拟表明，与此研究渠道中的先前工作相比，提出的方法可以衡量高维，非线性数据中的统计依赖性，并且受维度诅咒的影响较小。使用真实数据的实验证明了我们的统计量度对两个不同的经验推理情景的潜在适用性，显示出对监督功能提取和深层神经网络正则化的统计学显着改善。此外，我们还提供了随附的开源存储库https://bit.ly/3d4ch5i的链接。
translated by 谷歌翻译